圖/示意圖
產官資訊

·幾秒前·責任編輯
#Google#GKE#Kubernetes#AIAgent#雲端運算
圖/示意圖
圖/示意圖
商傳媒|責任編輯/綜合外電報導
摘要

Google 針對 GKE 提出 AI Agent 容量規劃指南,建議以實際活躍運算而非總會話數規劃節點,透過閒置快照與資源釋放機制,最多可降低近四成節點成本。

部署能自主規劃任務並持續互動的 AI Agent(人工智慧代理)時,雲端運算架構常面臨會話長時間閒置卻霸佔資源的難題。Google 近期針對 Google Kubernetes Engine(GKE,用於執行容器化應用程式的雲端託管平台)發布容量規劃指南,指出規劃節點池(Node Pool)時,應著眼於「實際執行任務或尚未暫停的沙盒數量」,而非維持連線的總會話數。

根據外媒引述Google GKE 容量指南內容,持續性 Agent 會話在兩次 Prompt(提示詞)互動之間,對話狀態雖維持開啟,但負責執行任務的沙盒環境大部分時間處於閒置。然而,Kubernetes 的 Worker 屬於實體運算容量,只要環境未釋放就會持續佔用資源。過去若單純將 Pod 縮減至零以保留儲存磁碟,記憶體與處理程序仍會遺失,導致下一次輸入時必須重新啟動 Process,拉長延遲時間。

指南提出的架構核心在於引入 SuspendActor 機制。當偵測到環境閒置時,系統會將記憶體快照存入物件儲存庫並釋放 Worker 節點資源。Google 的試算模型顯示,在 100 個 Agent、每小時發送 2 次 Prompt 且設定 2 分鐘閒置逾時的情境下,Agent 僅有 29% 的時間真正佔用運算資源;配合 15% 的安全容量餘裕,這套動態釋放架構能降低近 40% 的節點硬體成本。但若互動頻率提升至每小時 4 次 Prompt,由於閒置時間縮短,節省幅度則降至 4%。

此外,開源框架 Agent Substrate v1.0 也已預設啟用「請求停泊」(Request Parking)機制,最高支援 1,024 個並行停泊請求。當處於暫停狀態的環境恢復執行時若遭遇瞬態錯誤,系統會在 5 秒的重試預算內自動重新導流。這項設計目前僅支援 CPU 與記憶體容量調配,尚不支援將 GPU 裝置直接指派給個別 Actor。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源